package com.atguigu.flink.chapter04;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * TODO 并行度
 *
 * @author cjp
 * @version 1.0
 * @date 2021/8/6 11:16
 */
public class Flink01_WC_Parallelism {
    public static void main(String[] args) throws Exception {
        // 0.获取 执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//        StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());
        env.setParallelism(4);


        // 1.读取数据
//        DataStreamSource<String> socketDS = env.socketTextStream("localhost", 9999);
        DataStreamSource<String> socketDS = env.socketTextStream("hadoop1", 9999);
        // 2.处理数据 3.输出(打印)
        socketDS
                .flatMap((FlatMapFunction<String, Tuple2<String, Integer>>) (value, out) -> {
                    String[] words = value.split(" ");
                    for (String word : words) {
                        out.collect(Tuple2.of(word, 1));
                    }
                })
                .returns(Types.TUPLE(Types.STRING,Types.INT))
                .keyBy(0)
                .sum(1).setParallelism(5)
                .print();

        // 4.启动
        env.execute();

    }
}

/*
   并行度：动态的概念，同时运行中的task的个数
   指定： 配置文件默认1
         提交参数（webui 和 命令行提交命令）
         代码指定:env、算子

   优先级： 算子指定 > env全局指定 > 提交参数 > 配置文件

   同一个算子的并行实例，不能在同一个slot里

   以最大并行度作为整个流的并行度

   slot数量必须大于等于 最大并行度，才可以正常运行

 */